A key feature of federated learning (FL) is to preserve the data privacy of end users. However, there still exist potential privacy leakage in exchanging gradients under FL. As a result, recent research often explores the differential privacy (DP) approaches to add noises to the computing results to address privacy concerns with low overheads, which however degrade the model performance. In this paper, we strike the balance of data privacy and efficiency by utilizing the pervasive social connections between users. Specifically, we propose SCFL, a novel Social-aware Clustered Federated Learning scheme, where mutually trusted individuals can freely form a social cluster and aggregate their raw model updates (e.g., gradients) inside each cluster before uploading to the cloud for global aggregation. By mixing model updates in a social group, adversaries can only eavesdrop the social-layer combined results, but not the privacy of individuals. We unfold the design of SCFL in three steps. \emph{i) Stable social cluster formation. Considering users' heterogeneous training samples and data distributions, we formulate the optimal social cluster formation problem as a federation game and devise a fair revenue allocation mechanism to resist free-riders. ii) Differentiated trust-privacy mapping}. For the clusters with low mutual trust, we design a customizable privacy preservation mechanism to adaptively sanitize participants' model updates depending on social trust degrees. iii) Distributed convergence}. A distributed two-sided matching algorithm is devised to attain an optimized disjoint partition with Nash-stable convergence. Experiments on Facebook network and MNIST/CIFAR-10 datasets validate that our SCFL can effectively enhance learning utility, improve user payoff, and enforce customizable privacy protection.
translated by 谷歌翻译
机器学习(ML)是一种在车辆互联网(IOV)上培训预测模型的分布式方法,以实现智能公共交通。由于交通状况会随着时间而变化,因此必须连续有效地更新流量流动和乘客等待时间的ML模型。联合学习(FL)是一种分布式机器学习方案,允许车辆接收连续的模型更新,而无需将原始数据上传到云中并等待培训模型。但是,由于车辆在公共场所旅行以来,智能公共交通中FL容易受到中毒或DDOS攻击的影响。此外,由于设备异质性和不平衡数据分布,同步聚合策略在聚集之前从特定车辆中收集本地模型的同步聚合策略效率低下。尽管有异步联合学习(AFL)方案是通过收到本地模型来提高效率的,但陈旧的本地模型仍然不合理地加权,导致学习绩效不佳。为了实现更明智的公共交通,本文提供了一个基于动态缩放系数(DBAFL)的基于区块链的异步联合学习方案。具体而言,基于委员会的新型共识算法用于区块链,以最低的时间成本提高了可靠性。同时,设计的动态缩放系数允许AFL为陈旧的本地模型分配合理的重量。在异质设备上进行的广泛实验验证了DBAFL的学习效果,效率和可靠性优于外观的实验。
translated by 谷歌翻译
Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.
translated by 谷歌翻译
当一个用户将多个不同的任务卸载到边缘服务器时,任务调度是一个关键问题。当用户有多个任务要卸载,并且一次只能将一个任务传输到服务器,而服务器根据传输顺序处理任务时,问题是NP-HARD。但是,传统优化方法很难快速获得最佳解决方案,而基于强化学习面孔的方法和过度的动作空间和缓慢收敛的挑战。在本文中,我们提出了一种基于RL的Digital Twin(DT)辅助任务调度方法,以提高RL的性能和收敛性。我们使用DT来模拟代理商做出的不同决策的结果,以便一个代理可以一次尝试多个操作,或者类似地,多个代理可以在DT中并行与环境交互。通过这种方式,RL的勘探效率可以通过DT显着提高,因此RL可以更快地收敛,而局部最优性不太可能发生。特别是,设计了两种算法来制定任务调度决策,即DT辅助异步Q学习(DTAQL)和DT辅助探索Q-Learning(DTEQL)。仿真结果表明,两种算法都通过提高勘探效率显着提高了Q学习的收敛速度。
translated by 谷歌翻译
现在众所周知,神经网络对其预测的信心很高,导致校准不良。弥补这一点的最常见的事后方法是执行温度缩放,这可以通过将逻辑缩放为固定值来调整任何输入的预测的信心。尽管这种方法通常会改善整个测试数据集中的平均校准,但无论给定输入的分类是否正确还是不正确,这种改进通常会降低预测的个人信心。有了这种见解,我们将方法基于这样的观察结果,即不同的样品通过不同的量导致校准误差,有些人需要提高其信心,而另一些则需要减少它。因此,对于每个输入,我们建议预测不同的温度值,从而使我们能够调整较细性的置信度和准确性之间的不匹配。此外,我们观察到了OOD检测结果的改善,还可以提取数据点的硬度概念。我们的方法是在事后应用的,因此使用很少的计算时间和可忽略不计的记忆足迹,并应用于现成的预训练的分类器。我们使用CIFAR10/100和TINY-IMAGENET数据集对RESNET50和WIDERESNET28-10架构进行测试,这表明在整个测试集中产生每数据点温度也有益于预期的校准误差。代码可在以下网址获得:https://github.com/thwjoy/adats。
translated by 谷歌翻译
我们介绍了DeepNash,这是一种能够学习从头开始播放不完美的信息游戏策略的自主代理,直到人类的专家级别。 Stratego是人工智能(AI)尚未掌握的少数标志性棋盘游戏之一。这个受欢迎的游戏具有$ 10^{535} $节点的巨大游戏树,即,$ 10^{175} $倍的$倍于GO。它具有在不完美的信息下需要决策的其他复杂性,类似于德克萨斯州Hold'em扑克,该扑克的游戏树较小(以$ 10^{164} $节点为单位)。 Stratego中的决策是在许多离散的动作上做出的,而动作与结果之间没有明显的联系。情节很长,在球员获胜之前经常有数百次动作,而Stratego中的情况则不能像扑克中那样轻松地分解成管理大小的子问题。由于这些原因,Stratego几十年来一直是AI领域的巨大挑战,现有的AI方法几乎没有达到业余比赛水平。 Deepnash使用游戏理论,无模型的深钢筋学习方法,而无需搜索,该方法学会通过自我播放来掌握Stratego。 DeepNash的关键组成部分的正则化NASH Dynamics(R-NAD)算法通过直接修改基础多项式学习动力学来收敛到近似NASH平衡,而不是围绕它“循环”。 Deepnash在Stratego中击败了现有的最先进的AI方法,并在Gravon Games平台上获得了年度(2022年)和历史前3名,并与人类专家竞争。
translated by 谷歌翻译
卷积神经网络(CNN)在各种应用中表现出卓越的性能,但具有较高的计算复杂性。量化用于降低CNN的延迟和存储成本。在量化方法中,二进制重量网络(BWN和TWNS)在8位和4位量化方面具有独特的优势。他们用加法替代CNN中的乘法操作,这些操作在内存计数(IMC)设备上受到青睐。 BWNS的IMC加速度已被广泛研究。但是,尽管TWN的精度比BWN具有更高的准确性和更好的稀疏性,但IMC的加速度的研究有限。现有的IMC设备上的TWN效率低下,因为稀疏性无法很好地利用,并且加法操作效率不高。在本文中,我们建议FAT作为TWN的新型IMC加速器。首先,我们提出了一个稀疏的加法控制单元,该单元利用TWN的稀疏度跳过了零重量的无效操作。其次,我们提出了一个基于内存感知器的快速添加方案,以避免携带传播的时间开销并将其写回记忆单元。第三,我们进一步提出了一个组合的数据映射,以减少激活和权重的数据移动,并增加跨内存列的并行性。仿真结果表明,与最先进的IMC加速器Parapim相比,对于感官放大器水平上的加法操作,FAT达到2.00倍加速度,1.22倍功率效率和1.22倍面积效率。与帕拉皮姆(Parapim)相比,脂肪达到10.02倍的加速度和12.19倍的能量效率,而平均稀疏性为80%的网络。
translated by 谷歌翻译
异常气道扩张,称为牵引支气管扩张,是特发性肺纤维化(IPF)的典型特征。体积计算断层扫描(CT)成像捕获IPF中逐渐变细的丢失。我们假设气道异常的自动化量化可以提供IPF疾病程度和严重程度的估算。我们提出了一种自动化计算管道,系统地将气道树木从基于深度学习的气道分割中划分到其裂片和世代分支,从而从胸部CT获得气道结构措施。重要的是,透气阻止通过厚波传播的杂散气道分支的发生,并通过图表搜索去除气道树中的环,克服现有气道骨架算法的限制。在14名健康参与者和14名IPF患者之间比较了透气段(跨空间)和透气曲线曲线之间的逐渐变化。 IPF患者中,Airway interberering显着降低,与健康对照相比,Airway曲线曲调显着增加。差异在下叶中最大标记,符合IPF相关损伤的典型分布。透气是一种开源管道,避免了现有的气道定量算法的限制,并具有临床解释性。自动化气道测量可能具有作为IPF严重程度和疾病程度的新型成像生物标志物。
translated by 谷歌翻译
尽管近期因因果推断领域的进展,迄今为止没有关于从观察数据的收集治疗效应估算的方法。对临床实践的结果是,当缺乏随机试验的结果时,没有指导在真实情景中似乎有效的指导。本文提出了一种务实的方法,以获得从观察性研究的治疗效果的初步但稳健地估算,为前线临床医生提供对其治疗策略的信心程度。我们的研究设计适用于一个公开问题,估算Covid-19密集护理患者的拳击机动的治疗效果。
translated by 谷歌翻译
自动音频标题(AAC)是一种跨模型翻译任务,旨在使用自然语言来描述音频剪辑的内容。如在DCEAD 2021挑战的任务6所接收的提交所示,这一问题已受到越来越兴趣的社区。现有的AAC系统通常基于编码器解码器架构,其中音频信号被编码为潜像表示,并与其对应的文本描述对齐,则使用解码器来生成标题。然而,AAC系统的培训经常遇到数据稀缺问题,这可能导致不准确的表示和音频文本对齐。为了解决这个问题,我们提出了一种名为对比损耗的新型编码器解码器框架(CL4AC)。在CL4AC中,通过对比样本来利用来自原始音频文本成对数据的自我监督信号来利用音频和文本之间的对应关系,该样本可以提高潜在表示的质量和音频和文本之间的对齐,同时训练有限的数据。实验是在披丁数据集上进行的,以显示我们提出的方法的有效性。
translated by 谷歌翻译